重复是一种反应，可以在对话中重复上一位演讲者的话语中的单词。如语言研究所述，重复对于与他人建立信任至关重要。在这项工作中，我们专注于重复生成。据我们所知，这是解决重复产生的第一种神经方法。我们提出了加权标签平滑，一种平滑方法，用于明确学习在微调过程中重复哪些单词，以及一种重复评分方法，可以在解码过程中输出更合适的重复。我们进行了自动和人类评估，涉及将这些方法应用于预先训练的语言模型T5来产生重复。实验结果表明，我们的方法在两种评估中都超过了基线。
translated by 谷歌翻译
负抽样（NS）损失在学习知识图嵌入（KGE）中起着重要的作用，以处理大量实体。但是，适当地选择了KGE降低没有超参数的降解，例如NS损失中的余量和负样本的数量。目前，经验超参数调整以计算时间为代价解决了这个问题。为了解决这个问题，我们理论上分析了NS损失，以帮助高参数调整，并了解NS损失在KGE学习中的更好使用。我们的理论分析表明，具有限制值范围的评分方法，例如transe和旋转，需要适当调整边缘项或与没有限制值范围（例如恢复，复杂和散布）的负相同样本的数量。我们还提出了从理论方面研究的KGE中专门用于NS损失的亚采样方法。我们对FB15K-237，WN18RR和Yago3-10数据集的经验分析表明，实际训练的模型的结果与我们的理论发现一致。
translated by 谷歌翻译